能動的推論: 心、脳、行動の自由エネルギーの読書メモ
https://scrapbox.io/files/63a6d8dfe45295001d1ae312.png
※間違いを沢山含んでいる可能性があります。
内容説明
この最新理論は、ヒトへの関心をもつすべての読者に画期的な視点を贈る
ヒトにおける知覚、認知、運動、思考、注意、コミュニケーション機能…それぞれの仕組みの解明に向けた研究が進む中、それらをたった1つの原理で説明する画期的な理論が世界的に大きな注目を集めている。
――著者の一人、天才神経科学者と称されるフリストンが提起した「自由エネルギー原理」である。本書ではこの原理の意義を強調しながら、我々が生きる世界についての不確実性を解消する「能動的推論」を解く。
2022年3月に刊行された原著を邦訳出版した本書は、認知的現象を統一的に説明した、今までにない新たなモデルを提供する。amazon 第Ⅰ部
１ 序 章
1.1 はじめに
1.2 生物はどのようにして生存し，適応的に行動するのか？
1.3 能動的推論：第一原理から行動を考える
1.4 本書の構成
1.5 まとめ
２ 能動的推論への常道
2.1 はじめに
2.2 推論としての知覚
ベイズ脳仮説
脳は外界からの感覚入力を純粋に内部で表現する(ボトムアップ)のではなく、脳内で事前に持っている感覚の原因に関する推測(トップダウン)と実際の感覚入力(ボトムアップ)を結びつける推論をおこなっている。
ベイズの定理$ P(X|Y)=P(Y|X)P(X)/P(Y)
条件付き確率$ P(Y|X←条件)=P(X,Y)/P(X)を変形しただけ。
重要なのは解釈で、元々の確率(事前確率$ P(X))が新しく情報を得て更新される(事後確率$ P(X|Y))。
ヨビノリのこの動画が分かり易かった
https://youtu.be/oUN_GhB00fU
尤度（likelihood）
想定するパラメーターがある値をとる場合に観測している事柄や事象が起こりうる確率のこと。尤度はパラメーターの関数として表すことができるので尤度関数とも言う。from 統計Web 正直ぱっとしないのでここ↓の解説が感覚的に理解しやすかった。
今回だと、観察対象がリンゴ/カエルだった場合に、それぞれどのくらいの確率でジャンプするのか？という脳内で抱えているモデルのこと。$ P(Y|X)
２つのサプライズ
１．サプライズ
観測した事象の珍しさ、観測に対する驚きの大きさ
(サプライズ) =$ -ln(P(Y))
サプライズは$ P(Y)が小さいほど大きくなる
$ P(Y)は事前確率$ P(X)と尤度モデル$ P(Y|X)によって計算される。
２．ベイズサプライズ
新しくデータが増えた際に、どれだけ信念(確率)を更新する必要があるのか
KL(カルバック・ライブラー)ダイバージェンス
事前と事後確率の対数確率の差の平均
本編でカットされたP(X=リンゴ)=1のときの、サプライズとベイズサプライズの計算過程
https://scrapbox.io/files/63a80a14fb417e001d8b4309.png
https://scrapbox.io/files/63a80a565a4e1d001d4a3964.png
https://scrapbox.io/files/63a80a847d558f001ee1594b.png
https://scrapbox.io/files/63a80a961b54ab001e7e164c.png
ジャンプが観測されたときのベイズサプライズは0となる。
リンゴと決め打ちしてるので、ジャンプという条件が追加されてもリンゴ以外の候補がいないため、確率は変わらない
ジャンプが観測されたときのサプライズは大きくなる。
リンゴと決め打ちしている場合はジャンプが観測される確率が低いので、実際に観測された際のサプライズは大きくなる。
2.3 生物の推論と最適性
2.4 推論としての行為
行為を推論として考える。
ここからは、世界に働きかけることでデータの生成方法を変えることも考える。
2.5 モデルと世界の間のずれを最小化する
知覚と行為の共通の目的は、モデルと世界の間のずれを最小化することとして定式化できる。
では、知覚と行為をどうやって使い分け？していくのかは信念の信頼度に依存する。
信念に対する信頼度が低いとき
自分の信念を更新することで不確実性を解消する
例えば、リンゴとカエルの見分けが付かないとき、モデルを更新することで不確実性を下げる。
信念に対する信頼度が高いとき
自分の行為を変更して環境を変えることで、自分の快適な状態に持ち込む
例えば、自分の体温が高いとき、窓を開けて環境を変えることで体温を下げる。
2.6 変分自由エネルギーの最小化
ここまで扱ってきたベイズ推論では、事後確率$ P(X|Y)とモデル証拠$ P(Y)を使っていたが、これらは(脳にとって？Naa_tsure.icon)計算するのが難しい。
これらの近似として、近似事後分布$ Qと変分自由エネルギー$ Fを利用する。
これは脳が実際に行っている想定なのか、それとも外部から数学的に記述する際の話？Naa_tsure.icon
変分自由エネルギー$ F の最小化の意味を式変形して考えてみる
$ F[Q,Y] =-\mathbb{E}_{Q(x)}[lnP(Y,X)]- H[Q(X)]
(変分自由エネルギー) = (エネルギー) - (エントロピー)
自由エネルギーの最小化
エネルギーを大きく(正確な事前信念を持つ？) or エントロピーも大きくする(不確実性が高い)
イメージがいまいちつかめないNaa_tsure.icon
$ F[Q,Y] = D_{KL}[Q(X)||P(X)] - \mathbb{E}_{Q(x)}[lnP(Y|X)]
(変分自由エネルギー) = (複雑さ) - (正確さ)
自由エネルギーの最小化
感覚情報に対する説明が正確でかつ、複雑さが小さい(→オッカムの剃刀)。 第一項はベイズサプライズそのものなことに注意 (近似バージョンではあるけどNaa_tsure.icon)
自分が知っていることをどの程度更新するか。（これがコスト）
$ F[Q,Y] = D_{KL}[Q(X)||P(X|Y)] - lnP(Y)
(変分自由エネルギー) = (真と近似の事後確率の違い) ＋ (サプライズ)
自由エネルギーの最小化
近似の事後確率をできるだけ真の事後確率に近づけること。（知覚で信念を変更する）
サプライズを小さくすること。(行為で観察データを変更する)
2.7 期待自由エネルギーと推論としての行動計画
2.8 期待自由エネルギーとは何か
2.9 常道の終わりに
2.10 まとめ
３ 能動的推論への王道
3.1 はじめに
3.2 マルコフ・ブランケット
前提知識のベイジアンネットワークについてはこの動画がわかりやすかった。
https://youtu.be/zYKOL5RpVbo
https://youtu.be/VMC9xGTTFf8
3.3 サプライズの最小化と自己証明
3.4 推論，認知，および確率的ダイナミクスの関係
3.5 能動的推論：行動と認知を理解するための新しい基盤
3.6 モデル，ポリシー，および軌道
3.7 能動的推論のもとでのエナクティブ理論，サイバネティクス理論，予測理論の統合
3.8 能動的推論：生命の誕生から主体性まで
3.9 まとめ
４ 能動的推論の生成モデル
4.1 はじめに
4.2 ベイズ推論から自由エネルギーまで
4.3 生成モデル
4.4 離散時間の能動的推論
4.5 連続時間の能動的推論
4.6 まとめ
５ メッセージパッシングと神経生物学
5.1 はじめに
5.2 微小回路とメッセージ
5.3 運動指令
5.4 皮質下構造
5.5 神経修飾と学習
5.6 連続的な階層と離散的な階層
5.7 まとめ
第Ⅱ部
６ 能動的推論モデルを設計するためのレシピ
6.1 はじめに
6.2 能動的推論モデルの設計：4段階のレシピ
6.3 どんなシステムをモデリングしているのか？
6.4 生成モデルの最も適切な形とは
6.5 どのように生成モデルを設定するか？
6.6 生成プロセスの設定
6.7 能動的推論を用いたデータのシミュレーション，可視化，分析，フィッティング
6.8 まとめ
７ 離散時間の能動的推論
7.1 はじめに
7.2 知覚処理
7.3 推論としての意思決定と行動計画
7.4 情報探索
7.5 学習と新規性
7.6 階層的推論または深い推論
7.7 まとめ
８ 連続時間の能動的推論
8.1 はじめに
8.2 運動制御
8.3 ダイナミカルシステム
8.4 一般化同期
8.5 ハイブリッド（離散および連続）モデル
8.6 まとめ
９ モデルベースのデータ分析
9.1 はじめに
9.2 メタベイズ法
9.3 変分ラプラス法
9.4 パラメトリック経験ベイズ法（PEB）
9.5 モデルベースの解析手順
9.6 生成モデルの例
9.7 誤推論のモデル
9.8 まとめ
10 感覚状態に反応する行動の統一理論としての能動的推論
10.1 はじめに
10.2 これまでのまとめ
10.3 点をつなぐ：能動的推論の統合的視点
10.4 予測する脳，予測する心，そして予測処理
10.5 知 覚
10.6 行為の制御
10.7 効用と意思決定
10.8 行動と限定合理性
10.9 感情価，情動，モチベーション
10.10 ホメオスタシス，アロスタシス，内受容処理
10.11 注意，顕著性，認識的ダイナミクス
10.12 規則学習，因果推論，および高速の般化
10.13 能動的推論と他の分野：未解決の問題
10.14 まとめ